#гибридная архитектура

TiDAR объединяет диффузионное черновое предсказание и автогрессивную верификацию в одном проходе, что позволяет умножить количество токенов на проход и увеличить скорость инференса до примерно 5.9x без заметной потери качества.

Liquid AI анонсирует LFM2 — серию продвинутых моделей для edge AI с ускоренным выводом и обучением, а также инновационной гибридной архитектурой для устройств с ограниченными ресурсами.

RWKV-X представляет гибридную модель, объединяющую разреженное внимание и рекуррентную память для эффективного декодирования очень длинных последовательностей с линейной сложностью, превосходя предыдущие модели RWKV в задачах с длинным контекстом.